Objek wisata ini berada di atas pegunungan yang bernama Gunung Payudan, tepatnya di Desa Payudan Daleman Kecamatan Guluk-Guluk Kabupaten Sumenep kurang lebih 30 Km ke Arah Barat Kota Sumenep. Bagi masyarakat Sumenep Khususnya, Gua Payudan mempunyai arti penting mengingat gua ini memiliki keterkaitan dengan sejarah raja-raja Sumenep abad 14 samapi 17. Gua ini tidak hanya bernilai sebuah obyek wisata Alam (goa) saja, tetapi juga mengandung makna religi dan sejarah didalamnya.
Untuk menuju / mengunjungi tempat ini tidak begitu sulit, dari Sumenep naik angkutan umum menuju ganding lalu ganti angkutan menuju Pasean atau batu Ampar, kemudian turun di pertigaan Desa Payudan Daleman. Sedang dari pertigaan bisa menaiki dokar (Andong) atau jalan kaki sekitar 2 Km sampai ke Lokasi Goa.
Konon menurut ceritanya, goa ini pertama kali ditemukan Yaitu oleh K. Sulaiman bin Samukdin yang berasal dari Pamekasan. Awalnya K. Sulaiman bersemedi di Asta Juruan Kecamatan Batu Putih Kabupaten Sumenep selama 21 Hari. Selama melakukan tapa tersebut, bekal yang dibawa yaitu jagung sangrai. Setelah hari ke 21, K Sulaiman mendapat petunjuk untuk pergi ke Arah barat, tepatnya ke gunung payudan. Setelah 3 hari 3 malam berjalan ke arah barat sampai dan naik maka terdengar suara sayup-sayup seperti ada orang menumbuk jagung. Setelah di dekati ternyata tidak ada seorangpun yang sedang menumbuk jagung, yang ada hanya tempat rindang dengan dinding batu disertai dengan tempat beristirahat dan terdapat banyak lubang. Akhirnya beliau bertawassul kepada Yang Maha Esa. Lalu datanglah petunjuk bahwa tempat tersebut merupakan tempat bertapa para raja-raja terdahulu.
Diceritakan di atas Goa bahwa orang yang pertama kali mendirikan rumah di atas Goa Payudan adalah keturunan terakhir dari K. Sulaiman yaitu K. Tayyib pada tahun 1908. tapi pada tahun 1938 K. Tayyib pindah ke Pamekasan dengan alasan banyak celeng (babi Hutan) yang kemudian ditempati kerabatnya yang lain yaitu maniti yang sekaligus menjadi juru kunci Goa tersbut.
Sampai saat ini banyak pengunjung kesana, bahkan orang yang bersemedi disana sulit berganti artinya di tempat itu selalu ada orang yang bersemedi, bahkan ada yang sampai satu tahun lamanya.
Sumber: disbudparpora.sumenep.go.id